模型融合的方法結合了多個單獨模型的預測結果～

可以結合多個模型的優勢，減少單一模型的偏差～對於覆雜的問題，使用多個模型可以提高模型的泛化能力～
白話來說通過投票來決定最終分類問題的預測結果～

投票法可以分為兩種類型：

• 硬投票（Hard Voting）：
  對於分類問題，硬投票選擇多數票預測的類別作為最終的預測結果。

• 軟投票（Soft Voting）：
  對於概率預測的模型，軟投票計算所有模型對每個類別的平均概率，然後選擇平均概率最高的類別作為最終的預測結果。

from sklearn.ensemble import VotingClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.tree import DecisionTreeClassifier
from sklearn.svm import SVC
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 加載數據
data = load_iris()
X = data.data
y = data.target

# 劃分訓練集和測試集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 定義多個模型
model1 = LogisticRegression()
model2 = DecisionTreeClassifier()
model3 = SVC(probability=True)

# 使用硬投票法
voting_clf_hard = VotingClassifier(estimators=[('lr', model1), ('dt', model2), ('svc', model3)], voting='hard')
voting_clf_hard.fit(X_train, y_train)
y_pred_hard = voting_clf_hard.predict(X_test)

# 使用軟投票法
voting_clf_soft = VotingClassifier(estimators=[('lr', model1), ('dt', model2), ('svc', model3)], voting='soft')
voting_clf_soft.fit(X_train, y_train)
y_pred_soft = voting_clf_soft.predict(X_test)

# 計算準確度
accuracy_hard = accuracy_score(y_test, y_pred_hard)
accuracy_soft = accuracy_score(y_test, y_pred_soft)

print(f'硬投票法準確度: {accuracy_hard}')
print(f'軟投票法準確度: {accuracy_soft}')

使用投票法進行模型融合需要選擇合適的基模型，通常選擇性能相對獨立的模型，以確保模型之間的多樣性。

在這個示例中，我們使用了 Logistic 回歸、決策樹和支持向量機三個不同的分類器，並分別使用硬投票法和軟投票法進行模型融合最後計算了模型在測試集上的準確度～～～～～